From Classification to Recommendation: Empirical Analysis of Audio Embedding Models Application for Content-Based Music Recommendation
音频嵌入模型在音乐推荐中的实证分析：从分类到推荐
🧭 音频表示 · 生成式推荐 · Semantic ID
University of New South Wales · Macquarie University
系统评估6种音频编码器在内容推荐、序列推荐和生成式推荐中的效果，揭示预训练与微调下的表现差异及Semantic ID设计影响
📌 工作参考价值（4 点）
- 内容特征选型：分类任务优化的预训练模型不一定适合推荐，优先考虑对比学习或多模态对齐的表示（如CLAP），它们在直接使用嵌入几何时更有效。
- 序列推荐作为强基线：交互式序列训练（如SASRec）能大幅缩小不同编码器的性能差距，在资源有限时可直接用通用音频嵌入+微调，无需追求领域最优预训练模型。
- 生成式推荐中的Semantic ID设计：RQ-VAE量化时，码本宽度和深度需谨慎平衡，更大容量不一定提升效果且可能引入不稳定；少量共享底码的前缀（如1-2层）足以保留推荐信息，深层码本收益递减。
- 评估范型迁移：该评测框架可复用于电商商品图片/视频等多模态推荐场景，直接比较不同编码器在纯内容、序列和生成式范式下的表现，为模型选型提供依据。